Pada 30 Jun 1814 Thomas Miller, seorang Sarjan di Rejimen Kaki ke-73, menerima pemberian tanah dari gabenor.[3]Sebuah kilang kecil yang dimiliki oleh bekas banduan,[4] Jack Leighton terletak di sini. Kawasan itu dikenali sebagai Jack, the Miller's Point.[3] Pada tahun 1833 Gabenor Bourke memberikan tanah Gereja Katolik di Millers Point untuk pembinaan rumah sekolah yang dapat berfungsi sebagai kapel pada hari Ahad. [[[Arkitek Pemerintah New South Wales|Arkitek Jajahan]], Ambrose Hallen berunding dengan Uskup Ullathorne, merancang bangunan sekolah yang siap dibina pada Mei 1835. Ia adalah bangunan satu tingkat yang dibina di batu pasir dengan dua bilik yang boleh dibuka menjadi satu. Gereja St Brigid adalah salah satu tempat pemujaan Katolik tertua yang ada di Australia. Sekolah ini ditutup pada tahun 1992 tetapi gereja tersebut terus digunakan oleh masyarakat setempat.[5][6][7]

Dari tahun 1841 hingga 1921, Miller's Point adalah lokasi gasworks yang dimiliki oleh Australian Gaslight Company.

Bangunan Sydney Observatory semasa di Bukit Observatory disiapkan pada tahun 1858 oleh ahli astronomi dan pendeta Inggeris William Scott. Juga di Observatory Hill adalah Sekolah Fort Street yang lama, ditukarkan dari Hospital Tentera lama di Fort Phillip pada tahun 1850-an. Fort Street School menggabungkan sekolah menengah kerajaan pertama di Australia, dan setelah sekolah menengah pindah pada tahun 1975, bangunannya telah menempatkan National Trust of Australia; sekolah rendah tetap berdekatan dengan bangunan warisan tersendiri yang tersenarai.

Dua [pub] yang berasingan di kawasan itu mendakwa sebagai pub tertua di Sydney, Lord Nelson (dibina sekitar tahun 1836, tetapi diubah suai sejak[4]) di Millers Point dan Fortune of War (yang dibina dalam bentuknya sekarang pada tahun 1922, walaupun sebuah hotel beroperasi di laman web ini pada tahun 1830[8]) berdekatan di The Rocks. Pub aktif lain di kawasan ini termasuk Palisade, Hero of Waterloo dan Captain Cook.